腾讯混元团队发现:浮点数精度影响AI模型训练效果
这项由腾讯混元团队联合澳门大学、香港中文大学和东京科学技术研究所共同完成的研究发表于2025年6月的第42届国际机器学习会议(ICML 2025)。研究团队包括孙星武、李帅鹏等多位专家,有兴趣深入了解的读者可以通过论文编号arXiv:2501.02423v3访
这项由腾讯混元团队联合澳门大学、香港中文大学和东京科学技术研究所共同完成的研究发表于2025年6月的第42届国际机器学习会议(ICML 2025)。研究团队包括孙星武、李帅鹏等多位专家,有兴趣深入了解的读者可以通过论文编号arXiv:2501.02423v3访
研究主题是“Defeating Nondeterminism in LLM Inference”,克服大语言模型推理中的不确定性。
在上图中我们最直观的感受就是左右两张马里奥图像的清晰度差异,这样压缩后的图像可能会影响我们视觉的识别。换个角度,我们把AI原始模型当作是800万画素的图片,将其转换成为30万画素,同时人眼看不出差异,这个过程就完成了有效的模型压缩。